Trước khi khởi công xây dựng, vua Mèo Vương Chính Đức đã sang Trung Quốc tìm thầy phong thủy sang Việt Nam đi qua khu vực 4 huyện nằm trong quyền cai quản của mình để chọn địa thế đất. Cuối cùng, Vương Chính Đức và thầy quyết định dừng chân tại thôn Xà Phìn, địa thế đất nằm giữa thung lũng Sà Phìn. Đặc biệt, ở nơi đây có một khối đất nổi lên cao như hình mui con rùa, tượng trưng cho thần kim quy. Nếu xây dựng dinh thự tại đây thì sự nghiệp của Vương Chính Đức sẽ thành về sau. Di tích này đã bị làm hồ sơ công nhận là di tích quốc gia vào năm 1993[4] mà không có bàn bạc thống nhất với dòng họ Vương là dòng họ trực tiếp sở hữu và quản lý dinh thự từ khi xây dựng đến thời điểm đó. Đến năm 2002, gia đình họ Vương mới biết quyết định này khi cán bộ địa phương đưa những người họ Vương ra khỏi dinh thự, với lý do dựa trên văn bản 937-QĐ/BT của Bộ Văn hóa Thông tin. Những người này đã phải chuyển ra ngoài để cơ quan chức năng trùng tu dinh thự làm bảo tàng và được hỗ trợ tổng cộng 500 triệu đồng trong số tiền 10 tỷ đồng Nhà nước cấp để trùng tu di tích (mỗi người được 30 hay 50 triệu đồng chưa xác định rõ do các nguồn tin khác nhau và 100m2 đất để cất nhà ở tạm cư lúc trùng tu dinh thự)[5]. Trong lúc trùng tu những người thực hiện đã chặt 27 cây sa mộc 100 tuổi của dòng họ vương (không rõ có bồi thường hay không)[6]. Lúc đó, con Vương Chính Đức là Vương Quỳnh Sơn cũng đã có thư gửi tới lãnh đạo Đảng, Chính phủ và Bộ trưởng Bộ Văn hóa Thông tin và phản đối và không đồng ý cho nhà nước lấy đất, nhà của dòng họ. Vụ việc được giải quyết theo Thông báo số 1125 năm 2002 của Bộ Văn hóa Thông tin đã khẳng định tại văn bản 937, Bộ không quốc hữu hóa quyền sở hữu ngôi nhà của những người được thừa kế hợp pháp. Thời điểm đó, lãnh đạo tỉnh Hà Giang - ông Triệu Đức Thanh[7] - Chủ tịch UBND tỉnh Hà Giang (là cha ông Triệu Tài Vinh)[8][9][10] đã đồng ý với văn bản của Bộ Văn hóa Thông tin. Tuy nhiên đến nhiệm kỳ của ông Triệu Tài Vinh làm Bí thư tỉnh Hà Giang đã không thực hiện cam kết này của Bộ Văn hóa - Thông tin và của lãnh đạo tỉnh Hà Giang lúc đó đặc biệt là của chính cha ông Triệu Tài Vinh là ông Triệu Đức Thanh. Các cơ quan có thẩm quyền tỉnh Hà Giang đã tự ý cấp giấy chứng nhận quyền sử dụng đất của dinh thự cho Phòng Văn hóa - Thông tin Đồng Văn quản lý lâu dài từ 2012 xem như đã Quốc hữu hóa toàn bộ đất và dinh thự nhà họ Vương và coi như từ lúc này dòng họ Vương mất toàn bộ đất, nhà tại khu dinh thự này. Đến năm 2018, nhà họ Vương khi định làm thủ tục xin cấp giấy chứng nhận quyền sử dụng đất, nhà tại khu di thự mới biết được việc này đã làm đơn khiếu nại gửi Chính phủ Việt Nam[5]. Theo Cao Thùy Liên - Lao động cho rằng nhà họ Vương đồng ý quyết định cống hiến dinh thự này cho nhà nước bảo tồn vào năm 2004 (là năm dòng họ Vương khiếu nại việc công nhận di tích lịch sử và bị chuyển ra ngoài để trùng tu di tích) nhưng không cung cấp được tin hay hình ảnh chụp gì về giấy tờ cống hiến dinh thư này của dòng họ Vương[11] (bài báo chính trên báo Lao động đã không còn truy cập được). Tuy nhiên theo cháu nội vua Mèo ông Vương Duy Bảo cho rằng gia đình mình không có ký bất kỳ giấy tờ nào hiến dinh thự giá trị 150 tỷ đồng này cho nhà nước dù có nhận 500 triệu đồng để di dời tạm cư lúc đang trùng tu dinh thự.[12]. Họ vương lúc này có nhiều người không đồng ý di dời và tất cả không đồng ý hiến đất nhà này cho nhà nước và có một văn bản thỏa thuận về việc di dời tạm cư để trùng tu dinh thự.[13]